Siêu phân giải là gì? Các bài nghiên cứu khoa học liên quan

Khái niệm siêu phân giải (Super-Resolution)

Siêu phân giải (Super-Resolution – SR) được hiểu là quá trình tái tạo ảnh có độ phân giải cao từ một hoặc nhiều ảnh có độ phân giải thấp ban đầu. Trong khoa học xử lý ảnh, SR đóng vai trò như một kỹ thuật bù đắp hạn chế vật lý của cảm biến, hệ quang học hoặc điều kiện ghi hình. Khả năng khôi phục chi tiết giúp SR trở thành phương pháp quan trọng trong nhiều lĩnh vực yêu cầu độ chính xác và rõ nét cao. Khái niệm này bao gồm cả các phương pháp dựa trên nội suy cổ điển cho đến những mô hình học sâu hiện đại có khả năng học biểu diễn phức tạp trong không gian thị giác.

Siêu phân giải là bài toán suy luận ngược (inverse problem), trong đó mục tiêu chính là ước lượng tín hiệu độ phân giải cao từ phiên bản đã bị suy giảm thông tin. Khi ảnh đầu vào bị mất chi tiết do quá trình lấy mẫu xuống, nén hoặc làm mờ, mô hình SR sẽ cố gắng ước tính lại các thông tin này dựa trên đặc trưng không gian, cấu trúc hoặc dữ liệu đã học trước đó. Để mô tả chính xác sự suy giảm tín hiệu, SR thường dùng các mô hình toán học phản ánh quá trình tạo ảnh thực tế. Điều này cho phép chuẩn hóa quá trình xử lý, giúp đánh giá và so sánh các thuật toán SR một cách khoa học.

Dưới góc nhìn ứng dụng, SR mang lại giá trị vượt trội trong nhiều kịch bản như phục hồi ảnh y khoa, phân tích hình ảnh vệ tinh, tăng chất lượng camera giám sát hoặc nâng cấp hình ảnh kỹ thuật số cũ. Tính tổng quát của SR giúp phương pháp này áp dụng được cho nhiều định dạng dữ liệu khác nhau bao gồm ảnh tĩnh, video, ảnh đa phổ (multi-spectral) và ảnh 3D. Khả năng mở rộng này tiếp tục mở ra nhiều hướng phát triển mới trong kỹ thuật thị giác máy tính hiện đại.

• Tăng độ rõ nét trong các ứng dụng yêu cầu độ chính xác cao
• Cải thiện các thuật toán phân tích hình ảnh phụ thuộc độ phân giải
• Hỗ trợ nâng cấp chất lượng hình ảnh trong lưu trữ và số hóa

Thuộc tính	Ý nghĩa trong SR
Độ phân giải không gian	Mức độ chi tiết có thể quan sát trong ảnh
Độ tương phản	Khả năng phân biệt vùng sáng – tối
Tỉ lệ phóng đại	Mức độ upscale mà mô hình phải tái tạo chi tiết

Phân loại các phương pháp siêu phân giải

Các phương pháp siêu phân giải được phân chia dựa trên dạng dữ liệu đầu vào, mô hình toán học và mức độ phức tạp trong tái tạo chi tiết. Ba nhóm chính bao gồm SR đơn ảnh (SISR), SR đa ảnh (MISR) và SR dựa trên mô hình học sâu hoặc mô hình thống kê. Mỗi nhóm có mục tiêu và kỹ thuật xử lý riêng nhằm đối phó với giới hạn thông tin trong ảnh đầu vào.

SR đơn ảnh (SISR) là dạng phổ biến nhất, chỉ sử dụng một ảnh đầu vào độ phân giải thấp. Bài toán này khó hơn MISR vì thiếu thông tin dư thừa từ nhiều ảnh khác nhau. Các kỹ thuật SISR hiện đại thường dựa vào học sâu để học ánh xạ trực tiếp từ ảnh LR (low-resolution) sang HR (high-resolution). Trong khi đó, MISR tận dụng nhiều ảnh chụp cùng cảnh từ các góc hoặc thời điểm khác nhau để tổng hợp chi tiết, đòi hỏi thêm bước căn chỉnh (image registration) trước khi khôi phục.

Các phương pháp dựa trên mô hình thống kê dựa vào giả định về tính chất của tín hiệu ảnh. Các giả định này có thể là tính trơn (smoothness), cấu trúc cạnh, gradient hoặc tính lặp lại của hoa văn trong ảnh. Trong khi đó, các mô hình học máy hoặc học sâu học trực tiếp cấu trúc dữ liệu từ tập huấn luyện lớn. Sự kết hợp giữa các nhóm phương pháp này cho phép tăng độ chính xác, giảm nhiễu và cải thiện chất lượng tổng thể.

• SISR: đầu vào đơn ảnh, áp dụng trong camera điện thoại, ảnh cũ.
• MISR: cần nhiều ảnh đầu vào, áp dụng trong giám sát, ảnh vệ tinh.
• SR thống kê – học sâu: sử dụng mô hình tối ưu hoặc mạng neural.

Cơ sở toán học của bài toán siêu phân giải

Bài toán siêu phân giải được mô hình hóa bằng cách mô phỏng quá trình thu nhận ảnh thực tế. Khi ảnh được chụp, tín hiệu bị làm mờ bởi hệ quang học, bị lấy mẫu xuống bởi cảm biến và chịu tác động của nhiễu môi trường. Mô hình suy giảm phổ biến được mô tả qua phương trình:

$I_{LR} = D(B(I_{HR})) + n$

Một số thành phần quan trọng trong mô hình toán học gồm phép làm mờ (blur kernel), phép lấy mẫu (downsampling operator) và nhiễu (noise). Từ phương trình này, SR trở thành bài toán tìm lại I_HR từ I_LR, tức bài toán nghịch đảo. Do tính bất chuẩn của bài toán, một ảnh LR có thể tương ứng với nhiều ảnh HR khác nhau.

Để giải bài toán nghịch đảo, nhiều phương pháp tối ưu hóa được áp dụng để ràng buộc không gian nghiệm. Các ràng buộc có thể bao gồm tính mượt, ưu tiên cạnh sắc, hoặc tính nén của tín hiệu trong miền biến đổi. Việc lựa chọn hàm phạt (regularization) đóng vai trò quan trọng trong việc cân bằng giữa độ trung thực và khả năng khôi phục chi tiết.

Thành phần	Ý nghĩa	Ảnh hưởng đến SR
B(I)	Phép làm mờ	Tạo ra mất chi tiết tần số cao
D(I)	Phép lấy mẫu xuống	Làm giảm số lượng pixel
n	Nhiễu	Làm xấu tín hiệu và khiến bài toán khó hơn

Siêu phân giải dựa trên các phương pháp truyền thống

Các phương pháp truyền thống bao gồm nội suy tuyến tính, nội suy bậc ba, và các mô hình dựa trên phương trình đạo hàm riêng hoặc tối ưu hóa. Ví dụ phổ biến nhất là nội suy bicubic, thay vì cố gắng tái tạo chi tiết bị mất, phương pháp này chỉ ước lượng giá trị pixel dựa trên lân cận. Kết quả thường mượt, nhưng thiếu cấu trúc sắc nét trong đường biên hoặc họa tiết nhỏ.

Các phương pháp thống kê như MAP (Maximum A Posteriori) hoặc các kỹ thuật dựa trên biến thiên toàn phần (Total Variation – TV) cho phép đưa ràng buộc vào bài toán để tăng ổn định. Mặc dù hiệu quả hơn nội suy đơn thuần, các phương pháp này vẫn hạn chế trong việc phục hồi chi tiết bị mất hoàn toàn, đặc biệt khi tỷ lệ phóng đại lớn.

Ưu điểm lớn nhất của các phương pháp truyền thống là tốc độ, độ ổn định và khả năng thực thi trên thiết bị hạn chế tài nguyên. Tuy nhiên, hạn chế lớn nhất đến từ việc chúng không học được cấu trúc phức tạp của dữ liệu hình ảnh, dẫn đến kết quả thường kém tự nhiên hơn so với các mô hình học sâu hiện đại.

• Bicubic: nhanh nhưng thiếu chi tiết
• MAP/TV: có ràng buộc, độ sắc nét cao hơn
• Biến thiên phi tuyến: cải thiện đường biên nhưng dễ sinh nhiễu

Siêu phân giải dựa trên học sâu

Siêu phân giải dựa trên học sâu là bước phát triển quan trọng nhất trong lịch sử của lĩnh vực này. Trái ngược với các phương pháp truyền thống vốn dựa trên giả định thủ công hoặc các mô hình toán học đơn giản, các mô hình học sâu học trực tiếp quan hệ phi tuyến giữa ảnh độ phân giải thấp (LR) và ảnh độ phân giải cao (HR). Nhờ đó, các mô hình có khả năng tái tạo chi tiết sắc nét, giảm nhiễu, điều chỉnh cấu trúc hình học và bổ sung các chi tiết tinh vi mà những phương pháp cổ điển không thể suy ra. Các mạng CNN (Convolutional Neural Networks) như SRCNN, VDSR, EDSR, RCAN hay các mô hình transformer như SwinIR đều được công nhận rộng rãi vì hiệu năng vượt trội trong hầu hết bộ dữ liệu chuẩn.

Sự ra đời của SRCNN đặt nền móng cho thế hệ tiếp theo của SR. Đây là mô hình đầu tiên sử dụng mạng tích chập sâu để học ánh xạ từ LR sang HR theo cơ chế end-to-end. Sau đó, nhiều mô hình được cải tiến bằng cách tăng độ sâu mạng, tăng số lượng tham số hoặc thay đổi kiến trúc phần dư (residual blocks) nhằm cải thiện quá trình truyền thông tin và tối ưu gradient. EDSR và RCAN là hai đại diện nổi bật đã thiết lập các kỷ lục về PSNR và SSIM trong nhiều benchmark như DIV2K. Bên cạnh đó, các mô hình dựa trên attention cung cấp khả năng tập trung vào các vùng quan trọng, giúp tái tạo họa tiết có cấu trúc phức tạp.

Các mô hình khuếch tán (diffusion models) xuất hiện gần đây mở ra hướng tiếp cận mới, cho phép tái tạo chi tiết tự nhiên hơn thay vì chỉ tối ưu độ tương đồng pixel. Quá trình khuếch tán học cách loại bỏ nhiễu theo từng bước, giúp khôi phục ảnh HR chân thực và giàu chi tiết. Các mô hình như SR3 hoặc IR-SDE được đánh giá cao trong các ứng dụng nghệ thuật số và tái tạo ảnh chất lượng thấp bị hỏng nặng. Sự linh hoạt của mô hình khuếch tán cũng cho phép xây dựng các hệ thống SR kết hợp văn bản hoặc điều kiện phụ (text-guided SR), hỗ trợ tái tạo theo yêu cầu.

• SRCNN: mô hình CNN đầu tiên cho SISR
• EDSR: tăng độ sâu, loại bỏ batch norm để tăng hiệu năng
• RCAN: dùng channel attention để tập trung đặc trưng quan trọng
• SwinIR: áp dụng kiến trúc transformer dạng Swin để tăng khả năng học mô hình dài hạn
• SR diffusion models: tạo chi tiết tự nhiên, phù hợp ảnh phức tạp

Kiến trúc	Đặc điểm	Ưu điểm
CNN truyền thống	Lọc tích chập cục bộ	Nhanh, ổn định, dễ triển khai
Residual Networks	Khối phần dư giúp truyền gradient tốt	Hiệu suất cao, tránh mất thông tin
Attention-based	Trọng số theo vùng quan trọng	Khôi phục chi tiết phức tạp hơn
Diffusion Models	Loại nhiễu từng bước	Chi tiết tự nhiên, giàu kết cấu

Các ứng dụng quan trọng của siêu phân giải

Siêu phân giải hiện diện trong nhiều lĩnh vực đòi hỏi độ chi tiết cao. Trong y sinh và ảnh y tế, SR hỗ trợ tái tạo ảnh từ MRI, CT hoặc PET, giúp bác sĩ phân tích mô bệnh chính xác hơn. Nhiều nghiên cứu đã chỉ ra rằng việc tăng độ phân giải có thể cải thiện độ nhạy trong chẩn đoán mà không cần tăng liều bức xạ hoặc thời gian quét. Điều này đặc biệt hữu ích trong các kỹ thuật chẩn đoán sớm, khi chi tiết mô bệnh chưa rõ ràng ở độ phân giải thấp.

Trong lĩnh vực giám sát và an ninh, SR đóng vai trò hỗ trợ phân tích đối tượng từ camera độ phân giải thấp hoặc trong điều kiện ánh sáng yếu. Các hệ thống SR dựa trên học sâu có thể khôi phục khuôn mặt, biển số xe hoặc vật thể nhỏ trong khung cảnh rộng, giúp nâng cao chất lượng các mô hình nhận dạng hoặc theo dõi. Bên cạnh đó, SR còn giúp giảm kích thước lưu trữ vì camera có thể ghi hình ở độ phân giải thấp và nâng cấp khi cần.

Ảnh vệ tinh và viễn thám cũng được hưởng lợi đáng kể từ SR. Dữ liệu vệ tinh thường bị giới hạn bởi kích thước cảm biến hoặc quỹ đạo quan sát. SR cho phép tăng độ phân giải của ảnh quang học, radar hoặc ảnh đa phổ, hỗ trợ phân tích địa hình, giám sát rừng, dự đoán khí hậu hoặc phát hiện đối tượng trên mặt đất. Các kỹ thuật MISR đặc biệt hiệu quả khi có nhiều ảnh chụp trùng lặp cùng khu vực.

• Y tế: Tăng độ phân giải MRI/CT để phát hiện mô bệnh.
• An ninh: Khôi phục biển số xe hoặc khuôn mặt.
• Vệ tinh: Tăng chi tiết quan sát địa lý – khí hậu.
• Nghệ thuật số: Khôi phục ảnh cũ, nâng cấp ảnh lưu trữ.

Thách thức trong bài toán siêu phân giải

Siêu phân giải là bài toán bất chuẩn, dẫn đến nhiều thách thức khi mô hình phải tái tạo chi tiết không tồn tại trong ảnh đầu vào. Một trong những vấn đề quan trọng nhất là sự mâu thuẫn giữa độ trung thực (fidelity) và khả năng tái tạo chi tiết (perceptual quality). Các mô hình tối ưu hóa PSNR thường cho ảnh mượt và ít nhiễu nhưng kém chân thực; ngược lại, các mô hình tối ưu hóa chỉ số cảm nhận như LPIPS cho ảnh sống động nhưng đôi lúc sinh ra chi tiết ảo.

Một thách thức khác đến từ mô hình hóa kernel làm mờ. Trong thực tế, kernel phụ thuộc vào hệ quang học và điều kiện môi trường, trong khi hầu hết tập dữ liệu huấn luyện dùng kernel tổng hợp. Sự khác biệt giữa dữ liệu mô phỏng và dữ liệu thực khiến mô hình giảm hiệu năng trên ảnh thực tế. Do đó, các nghiên cứu mới tập trung vào việc học kernel động hoặc ước lượng kernel trực tiếp từ ảnh LR.

Vấn đề chi phí tính toán cũng đáng chú ý. Các mô hình SR hiện đại chứa hàng chục triệu tham số, đòi hỏi tài nguyên máy lớn. Điều này làm hạn chế ứng dụng trên thiết bị di động hoặc hệ thống nhúng. Các giải pháp giảm tham số như mạng nhẹ, lượng tử hóa hoặc distillation đang được phát triển mạnh để giải quyết vấn đề này.

• Độ trung thực vs độ tự nhiên – khó tối ưu đồng thời
• Khác biệt dữ liệu mô phỏng và dữ liệu thực
• Chi phí tính toán và yêu cầu tài nguyên lớn

Đánh giá chất lượng siêu phân giải

Để đánh giá chất lượng SR, nhiều chỉ số được sử dụng nhằm phản ánh các khía cạnh khác nhau của ảnh tái tạo. PSNR và SSIM là hai chỉ số phổ biến nhất, phù hợp cho các tác vụ đòi hỏi độ trung thực cao. PSNR đo độ sai lệch pixel, trong khi SSIM đánh giá cấu trúc hình học và độ tương phản. Tuy nhiên, hai chỉ số này không phản ánh tốt cảm nhận thị giác con người trong các hệ thống SR hiện đại.

LPIPS (Learned Perceptual Image Patch Similarity) là thước đo mới phù hợp hơn cho đánh giá chất lượng theo cảm nhận. Chỉ số này dựa trên đặc trưng trích xuất bởi mạng học sâu, đánh giá mức độ tương đồng về mặt thị giác. Các bài toán SR theo hướng perceptual thường tối ưu LPIPS để cải thiện tự nhiên ảnh.

Ngoài ra còn có các phương pháp đánh giá chủ quan thông qua khảo sát người dùng, đặc biệt quan trọng trong các ứng dụng như phục chế ảnh, nghệ thuật tạo sinh hoặc SR trong phim ảnh.

Chỉ số	Đặc điểm	Ứng dụng phù hợp
PSNR	Đo sai số MSE	SR kỹ thuật, yêu cầu trung thực cao
SSIM	Đo cấu trúc hình học	SR ảnh tự nhiên, ảnh y tế
LPIPS	Dựa trên feature học sâu	SR nghệ thuật, SR perceptual

Xu hướng nghiên cứu hiện nay

Các hướng nghiên cứu SR hiện đại tập trung vào việc tăng tính tổng quát và khả năng xử lý ảnh đời thực. Một trong số đó là SR đa miền (cross-modality SR), cho phép tái tạo ảnh HR từ các nguồn không đồng nhất như kết hợp ảnh hồng ngoại – RGB, ảnh radar – quang học hoặc MRI – CT. Điều này giúp mô hình hiểu sâu hơn về cấu trúc vật lý của đối tượng, không phụ thuộc vào riêng một loại cảm biến.

Các mô hình khuếch tán và transformer tiếp tục là xu hướng chủ đạo nhờ khả năng mô hình hóa quan hệ dài hạn và tái tạo chi tiết chân thực. Hiệu năng vượt trội của chúng trong các tác vụ tạo sinh khiến SR trở thành một nhánh quan trọng của lĩnh vực generative imaging.

Ngoài ra, SR thời gian thực trên thiết bị di động cũng là hướng phát triển mạnh. Các kỹ thuật nén mô hình, lượng tử hóa và distillation đang giúp các mô hình SR nhỏ gọn đạt hiệu năng tiệm cận các mô hình lớn mà vẫn đảm bảo tốc độ xử lý. Điều này mở rộng phạm vi ứng dụng của SR, ví dụ trong quay phim 4K, video call hoặc AR/VR.

• SR cho ảnh đời thực (Real-world SR)
• SR dựa trên transformer và diffusion
• SR thời gian thực trên thiết bị di động
• Cross-modality SR

Tài liệu tham khảo

1. Dong, C., et al. “Image Super-Resolution Using Deep Convolutional Networks.” IEEE TPAMI. Xem tài liệu
2. Lim, B., et al. “Enhanced Deep Residual Networks for Single Image Super-Resolution.” arXiv:1707.02921. Xem tài liệu
3. Zhang, Y., et al. “RCAN: Image Super-Resolution Using Very Deep Residual Channel Attention Networks.” ECCV 2018. Xem tài liệu
4. Saharia, C., et al. “Image Super-Resolution via Iterative Refinement.” arXiv:2104.07636. Xem tài liệu
5. Wang, Z., et al. “LPIPS: Learned Perceptual Image Similarity Metric.” CVPR 2018. Xem tài liệu